Seeing and Reflecting: Multimodal Memory-Enhanced Agent Collaboration for Recommendation
观察与反思：多模态记忆增强的智能体协同推荐
🧭 多模态记忆增强的智能体协同推荐 ★ 深度解读
Tsinghua University · University of Science and Technology of China · Peking University · The University of New South Wales · Macquarie University
提出双轨多模态记忆增强智能体协同框架，融合推理与稠密匹配，在视觉密集型推荐上大幅领先
📌 工作参考价值（4 点）
- 双轨解耦推荐：将 LLM agent 的推理排序与多模态稠密匹配分为两个独立 track，通过加权 RRF 融合。电商推荐系统中，可借鉴将基于 agent 的可解释推理结果与基于视觉/文本的稠密检索结果进行加权融合，兼顾可解释性与精度。
- 属性引导的记忆演化：预定义语义属性空间，利用 LLM 抽取关键属性来指导记忆的强化或反思，有效减少噪声和偏好漂移。在用户画像管理模块，可以设计类似机制，用结构化属性来控制画像更新，避免自由反思带来的冗余。
- 多模态记忆初始化：从商品图片生成视觉描述并与标题融合，构建多模态 item memory。可直接用于视觉敏感场景（时尚、电子产品）的 item 表征，或为多模态检索增强生成提供素材。
- 推理与匹配的记忆分离：推理 track 保留压缩后的结构化记忆，匹配 track 保留原始交互叙述和图片用于稠密检索，既保持 agent 推理效率，又不丢失细粒度多模态信号。可迁移到需要实时更新用户向量的召回-排序联合设计。